Leong Yew koh lahir di Salak Utara , Sungai Siput , Perak pada 22 Ogos 1888., Leong adalah anak Leong Yew Teen, yang bertanggungjawab dalam mengembangkan Salak Utara, Perak.

Dia pergi ke Canton , China untuk pendidikan awal. Pada usia 13, ia kembali ke Malaya dari China dan belajar di Anglo-Chinese School Ipoh dan Sekolah St Xavier Pulau Pinang . Pada 1906, pada usia 16, dia bergabung dengan Tong Meng Hui Singapura .

Beliau pergi ke University College serta Inner Temple, London pada tahun 1908 - belajar jurusan ekonomi, sosiologi, ilmu politik dan undang-undang. Dia lulus pada 1912 dengan LLB .Mulai 1920 beliau menjadi peguamcara di Persekutuan Tanah Melayu (FMS).